LSTM(Long short term memory)
通常のRNNでは時間方向の勾配消失問題が発生するため、誤差逆伝播がうまくいかずに学習が進まない。
これを解決する方法の一つ。
LSTMの再帰セルには、情報の伝わり方を調整するゲートがついている。
通常のRNNでは前の時間の内部情報と入力データを受け取って単純な計算を行うだけ
LSTMでは
①前の情報をどれだけ切り捨てるのか(忘却ゲート)
②新しい情報をどれだけ入力するか(入力ゲート)
③情報をどれだけ出力するか(出力ゲート)を決める計算を行う。